最近,已证明有监督的对比度学习(SCL)在大多数分类任务中都能取得出色的表现。在SCL中,对神经网络进行了训练,可以优化两个目标:在嵌入空间中将锚定和阳性样品一起拉在一起,并将锚点推开。但是,这两个不同的目标可能需要冲突,需要在优化期间之间进行权衡。在这项工作中,我们将SCL问题作为Roberta语言模型的微调阶段的多目标优化问题。使用两种方法来解决优化问题:(i)线性标量(LS)方法,该方法可最大程度地减少持久性损失的加权线性组合; (ii)确切的帕累托最佳(EPO)方法,该方法找到了帕累托正面与给定优先矢量的相交。我们在不使用数据增强,内存库或生成对抗性示例的情况下评估了几个胶合基准任务的方法。经验结果表明,提出的学习策略大大优于强大的竞争性学习基线
translated by 谷歌翻译
研究界,工业和社会中地面移动机器人(MRS)和无人机(UAV)的重要性正在迅速发展。如今,这些代理中的许多代理都配备了通信系统,在某些情况下,对于成功完成某些任务至关重要。在这种情况下,我们已经开始见证在机器人技术和通信的交集中开发一个新的跨学科研究领域。该研究领域的意图是将无人机集成到5G和6G通信网络中。这项研究无疑将在不久的将来导致许多重要的应用。然而,该研究领域发展的主要障碍之一是,大多数研究人员通过过度简化机器人技术或通信方面来解决这些问题。这阻碍了达到这个新的跨学科研究领域的全部潜力的能力。在本教程中,我们介绍了一些建模工具,从跨学科的角度来解决涉及机器人技术和通信的问题所需的一些建模工具。作为此类问题的说明性示例,我们将重点放在本教程上,讨论通信感知轨迹计划的问题。
translated by 谷歌翻译
知识图(kg)完成是一项重要任务,它极大地使许多领域的知识发现受益(例如生物医学研究)。近年来,学习kg嵌入以执行此任务的嵌入引起了很大的关注。尽管KG嵌入方法成功,但它们主要使用负抽样,从而增加了计算复杂性以及由于封闭的世界假设而引起的偏见预测。为了克服这些局限性,我们提出了\ textbf {kg-nsf},这是一个基于嵌入向量的互相关矩阵学习kg嵌入的无负抽样框架。结果表明,所提出的方法在收敛速度更快的同时,将可比较的链接预测性能与基于阴性采样的方法达到了可比性的预测性能。
translated by 谷歌翻译
随着高级数字技术的蓬勃发展,用户以及能源分销商有可能获得有关家庭用电的详细信息。这些技术也可以用来预测家庭用电量(又称负载)。在本文中,我们研究了变分模式分解和深度学习技术的使用,以提高负载预测问题的准确性。尽管在文献中已经研究了这个问题,但选择适当的分解水平和提供更好预测性能的深度学习技术的关注较少。这项研究通过研究六个分解水平和五个不同的深度学习网络的影响来弥合这一差距。首先,使用变分模式分解将原始负载轮廓分解为固有模式函数,以减轻其非平稳方面。然后,白天,小时和过去的电力消耗数据作为三维输入序列馈送到四级小波分解网络模型。最后,将与不同固有模式函数相关的预测序列组合在一起以形成聚合预测序列。使用摩洛哥建筑物的电力消耗数据集(MORED)的五个摩洛哥家庭的负载曲线评估了该方法,并根据最新的时间序列模型和基线持久性模型进行了基准测试。
translated by 谷歌翻译
The deployment flexibility and maneuverability of Unmanned Aerial Vehicles (UAVs) increased their adoption in various applications, such as wildfire tracking, border monitoring, etc. In many critical applications, UAVs capture images and other sensory data and then send the captured data to remote servers for inference and data processing tasks. However, this approach is not always practical in real-time applications due to the connection instability, limited bandwidth, and end-to-end latency. One promising solution is to divide the inference requests into multiple parts (layers or segments), with each part being executed in a different UAV based on the available resources. Furthermore, some applications require the UAVs to traverse certain areas and capture incidents; thus, planning their paths becomes critical particularly, to reduce the latency of making the collaborative inference process. Specifically, planning the UAVs trajectory can reduce the data transmission latency by communicating with devices in the same proximity while mitigating the transmission interference. This work aims to design a model for distributed collaborative inference requests and path planning in a UAV swarm while respecting the resource constraints due to the computational load and memory usage of the inference requests. The model is formulated as an optimization problem and aims to minimize latency. The formulated problem is NP-hard so finding the optimal solution is quite complex; thus, this paper introduces a real-time and dynamic solution for online applications using deep reinforcement learning. We conduct extensive simulations and compare our results to the-state-of-the-art studies demonstrating that our model outperforms the competing models.
translated by 谷歌翻译
尽管深度神经网络(DNN)已成为多个无处不在的应用程序的骨干技术,但它们在资源受限的机器中的部署,例如物联网(IoT)设备,仍然具有挑战性。为了满足这种范式的资源要求,引入了与IoT协同作用的深入推断。但是,DNN网络的分布遭受严重的数据泄漏。已经提出了各种威胁,包括黑盒攻击,恶意参与者可以恢复送入其设备的任意输入。尽管许多对策旨在实现隐私的DNN,但其中大多数会导致额外的计算和较低的准确性。在本文中,我们提出了一种方法,该方法通过重新考虑分配策略而无需牺牲模型性能来针对协作深度推断的安全性。特别是,我们检查了使该模型容易受到黑盒威胁的不同DNN分区,并得出了应分配每个设备的数据量以隐藏原始输入的所有权。我们将这种方法制定为一种优化,在该方法中,我们在共同推导的延迟与数据级别的数据级别之间建立了权衡。接下来,为了放大最佳解决方案,我们将方法塑造为支持异质设备以及多个DNN/数据集的增强学习(RL)设计。
translated by 谷歌翻译
心电图(ECG)的解释给出了临床信息,并有助于评估心脏功能。存在与特定类别的arrythmia相关的不同的心电图图案。卷积神经网络实际上是ECG处理中最应用的深度学习算法之一。但是,对于深度学习模型,还有许多普遍的公共参数来调整。为卷积神经网络算法选择最佳或最佳的封面计是具有挑战性的。通常,我们最终通过不同可能的值范围手动调整模型,直到获得最佳拟合模型。使用贝叶斯优化(BO)和进化算法的自动封锁调整为港口手动配置提供了解决方案。在本文中,我们建议优化具有两个级别的经常性一维卷积神经网络模型(R-1D-CNN)。在第一级别,培训残余卷积层和一维卷积神经层以学习特定于患者特定的ECG特征,多层的Perceptron层可以学习产生每个输入的最终类载体。此级别是手动,并旨在降低搜索空间。第二级是自动的,基于所提出的基于算法的博。我们提出的优化R-1D-CNN架构是在两个公开的ECG数据集上进行评估。实验结果显示,基于算法的BO实现了99.95 \%的最佳速率,而基线模型对于MIT-BIH数据库实现99.70 \%。此外,实验表明,拟议的架构与BO微调的结构比其他拟议的架构更高的精度。与以前的作品相比,我们的建筑达到了良好的结果,并基于不同的实验。
translated by 谷歌翻译
人工智能(AI)见证了各种物联网(IoT)应用和服务的重大突破,从推荐系统到机器人控制和军事监视。这是由更容易访问感官数据的驱动以及生成实时数据流的Zettabytes(ZB)的普遍/普遍存在的设备的巨大范围。使用此类数据流来设计准确的模型,以预测未来的见解并彻底改变决策过程,将普遍的系统启动为有价值的范式,以实现更好的生活质量。普遍的计算和人工智能的汇合普遍AI的汇合将无处不在的物联网系统的作用从主要是数据收集到执行分布式计算,并具有集中学习的有希望的替代方案,带来了各种挑战。在这种情况下,应设想在物联网设备(例如智能手机,智能车辆)和基础架构(例如边缘节点和基站)之间进行明智的合作和资源调度,以避免跨越开销和计算计算并确保最大的性能。在本文中,我们对在普遍AI系统中克服这些资源挑战开发的最新技术进行了全面的调查。具体而言,我们首先介绍了普遍的计算,其架构以及与人工智能的相交。然后,我们回顾AI的背景,应用和性能指标,尤其是深度学习(DL)和在线学习,在无处不在的系统中运行。接下来,我们从算法和系统观点,分布式推理,培训和在线学习任务中,对物联网设备,边缘设备和云服务器的组合进行了分布式推理,培训和在线学习任务的深入文献综述。最后,我们讨论我们的未来愿景和研究挑战。
translated by 谷歌翻译